Reinforcement learning allows machines to learn from their own experience. Nowadays, it is used in safety-critical applications, such as autonomous driving, despite being vulnerable to attacks carefully crafted to either prevent that the reinforcement learning algorithm learns an effective and reliable policy, or to induce the trained agent to make a wrong decision. The literature about the security of reinforcement learning is rapidly growing, and some surveys have been proposed to shed light on this field. However, their categorizations are insufficient for choosing an appropriate defense given the kind of system at hand. In our survey, we do not only overcome this limitation by considering a different perspective, but we also discuss the applicability of state-of-the-art attacks and defenses when reinforcement learning algorithms are used in the context of autonomous driving.
translated by 谷歌翻译
在线系统缺乏连续性的最常见原因之一是源自广泛流行的网络攻击，称为分布式拒绝服务（DDOS），在该网络攻击中，受感染设备（僵尸网络）网络被利用以通过淹没服务的计算能力。攻击者的命令。这种攻击是通过通过域名系统（DNS）技术通过域生成算法（DGAS）来进行的，这是一种隐身连接策略，但仍留下可疑的数据模式。为了发现这种威胁，已经取得了分析的进步。对于大多数人来说，他们发现机器学习（ML）是一种解决方案，可以在分析和分类大量数据方面非常有效。尽管表现出色，但ML模型在决策过程中具有一定程度的晦涩难懂。为了解决这个问题，ML的一个被称为可解释的ML的分支试图分解分类器的黑盒性质，并使它们可解释和可读。这项工作解决了在僵尸网络和DGA检测背景下可解释的ML的问题，我们最了解的是，当设计用于僵尸网络/DGA检测时，第一个具体分解了ML分类器的决定，因此提供了全球和本地。解释。
translated by 谷歌翻译
尽管机器学习容易受到对抗性示例的影响，但它仍然缺乏在不同应用程序上下文中评估其安全性的系统过程和工具。在本文中，我们讨论了如何使用实际攻击来开发机器学习的自动化和可扩展的安全性评估，并在Windows恶意软件检测中报告了用例。
translated by 谷歌翻译
尽管在机器学习安全方面进行了大量的学术工作，但对野外机器学习系统的攻击的发生知之甚少。在本文中，我们报告了139名工业从业人员的定量研究。我们分析攻击发生和关注，并评估影响影响威胁感知和暴露的因素的统计假设。我们的结果阐明了对部署的机器学习的现实攻击。在组织层面上，尽管我们没有发现样本中威胁暴露的预测因素，但实施防御量取决于暴露于威胁或预期的可能性成为目标的可能性。我们还提供了从业人员对单个机器学习攻击的相关性的答复，揭示了不可靠的决策，业务信息泄漏和偏见引入模型等复杂问题。最后，我们发现，在个人层面上，有关机器学习安全性的先验知识会影响威胁感知。我们的工作为在实践中的对抗机器学习方面进行更多研究铺平了道路，但收益率也可以洞悉监管和审计。
translated by 谷歌翻译
在过去的几年中，对针对基于学习的对象探测器的对抗性攻击进行了广泛的研究。提出的大多数攻击都针对模型的完整性（即导致模型做出了错误的预测），而针对模型可用性的对抗性攻击，这是安全关键领域（例如自动驾驶）的关键方面，尚未探索。机器学习研究社区。在本文中，我们提出了一种新颖的攻击，对端到端对象检测管道的决策潜伏期产生负面影响。我们制作了一种通用的对抗扰动（UAP），该扰动（UAP）针对了许多对象检测器管道中的广泛使用的技术 - 非最大抑制（NMS）。我们的实验证明了拟议的UAP通过添加“幻影”对象来增加单个帧的处理时间的能力，该对象在保留原始对象的检测时（允许攻击时间更长的时间内未检测到）。
translated by 谷歌翻译
计算能力和大型培训数据集的可用性增加，机器学习的成功助长了。假设它充分代表了在测试时遇到的数据，则使用培训数据来学习新模型或更新现有模型。这种假设受到中毒威胁的挑战，这种攻击会操纵训练数据，以损害模型在测试时的表现。尽管中毒已被认为是行业应用中的相关威胁，到目前为止，已经提出了各种不同的攻击和防御措施，但对该领域的完整系统化和批判性审查仍然缺失。在这项调查中，我们在机器学习中提供了中毒攻击和防御措施的全面系统化，审查了过去15年中该领域发表的100多篇论文。我们首先对当前的威胁模型和攻击进行分类，然后相应地组织现有防御。虽然我们主要关注计算机视觉应用程序，但我们认为我们的系统化还包括其他数据模式的最新攻击和防御。最后，我们讨论了中毒研究的现有资源，并阐明了当前的局限性和该研究领域的开放研究问题。
translated by 谷歌翻译
评估机器学习模型对对抗性示例的鲁棒性是一个具有挑战性的问题。已经证明，许多防御能力通过导致基于梯度的攻击失败，从而提供了一种错误的鲁棒感，并且在更严格的评估下它们已被打破。尽管已经提出了指南和最佳实践来改善当前的对抗性鲁棒性评估，但缺乏自动测试和调试工具，使以系统的方式应用这些建议变得困难。在这项工作中，我们通过以下方式克服了这些局限性：（i）根据它们如何影响基于梯度的攻击的优化对攻击失败进行分类，同时还揭示了两种影响许多流行攻击实施和过去评估的新型故障； （ii）提出了六个新的失败指标，以自动检测到攻击优化过程中这种失败的存在； （iii）建议采用系统协议来应用相应的修复程序。我们广泛的实验分析涉及3个不同的应用域中的15多个模型，表明我们的失败指标可用于调试和改善当前的对抗性鲁棒性评估，从而为自动化和系统化它们提供了第一步。我们的开源代码可在以下网址获得：https：//github.com/pralab/indicatorsofattackfailure。
translated by 谷歌翻译
后门攻击在训练期间注入中毒样本，目的是迫使机器学习模型在测试时间呈现特定触发时输出攻击者所选的类。虽然在各种环境中展示了后门攻击和针对不同的模型，但影响其有效性的因素仍然不太了解。在这项工作中，我们提供了一个统一的框架，以研究增量学习和影响功能的镜头下的后门学习过程。我们表明，后门攻击的有效性取决于：（i）由普通参数控制的学习算法的复杂性; （ii）注入训练集的后门样品的一部分; （iii）后门触发的大小和可见性。这些因素会影响模型学会与目标类别相关联的速度触发器的存在的速度。我们的分析推出了封路计空间中的区域的有趣存在，其中清洁试验样品的准确性仍然很高，而后门攻击无效，从而提示改善现有防御的新标准。
translated by 谷歌翻译
尽管机器学习在实践中被广泛使用，但对从业者对潜在安全挑战的理解知之甚少。在这项工作中，我们缩小了这一巨大的差距，并贡献了一项定性研究，重点是开发人员的机器学习管道和潜在脆弱组件的心理模型。类似的研究在其他安全领域有助于发现根本原因或改善风险交流。我们的研究揭示了从业人员的机器学习安全性心理模型的两个方面。首先，从业人员通常将机器学习安全与与机器学习无直接相关的威胁和防御措施混淆。其次，与大多数学术研究相反，我们的参与者认为机器学习的安全性与单个模型不仅相关，而在整个工作流程中，由多个组件组成。与我们的其他发现共同，这两个方面为确定机器学习安全性的心理模型提供了基础学习安全。
translated by 谷歌翻译
评估对抗性鲁棒性的量，以找到有输入样品被错误分类所需的最小扰动。底层优化的固有复杂性需要仔细调整基于梯度的攻击，初始化，并且可能为许多计算苛刻的迭代而被执行，即使专门用于给定的扰动模型也是如此。在这项工作中，我们通过提出使用不同$ \ ell_p $ -norm扰动模型（$ p = 0，1,2，\ idty $）的快速最小规范（FMN）攻击来克服这些限制（FMN）攻击选择，不需要对抗性起点，并在很少的轻量级步骤中收敛。它通过迭代地发现在$ \ ell_p $ -norm的最大信心被错误分类的样本进行了尺寸的尺寸$ \ epsilon $的限制，同时适应$ \ epsilon $，以最小化当前样本到决策边界的距离。广泛的实验表明，FMN在收敛速度和计算时间方面显着优于现有的攻击，同时报告可比或甚至更小的扰动尺寸。
translated by 谷歌翻译